Evidence for Test Validation: A Guide for Practitioners / Evidencias Sobre la Validación de los Tests: una Guía Práctica

Background: Validity is a core topic in educational and psychological assessment. Although there are many available resources describing the concept of validity, sources of validity evidence, and suggestions about how to obtain validity evidence; there is little guidance providing specific instructions for planning and carrying out validation studies. Method: In this paper we describe (a) the fundamental principles underlying test validity, (b) the process of validation, and (c) practical guidance for practitioners to plan and carry out sufficient validity research to support the use of a test for its intended purposes. Results: We first define validity, describe sources of validity evidence, and provide examples where each of these sources are addressed. Then, we describe a validation agenda describing steps and tasks for planning and developing validation studies. Conclusions: Finally, we discuss the importance of addressing validation studies from a comprehensive approach.(AU)

Antecedentes: La validez es un tema central en la evaluación psicológica y educativa. A pesar de que la literature disponible recoge numerosos recursos en los que se describe el concepto de validez, las fuentes de evidencia y se aportan sugerencias sobre cómo obtener evidencias de validez, apenas existen guías que proporcionen instrucciones específicas para planificar y desarrollar estudios de validación. Método: El presente artículo describe (a) los principios fundamentales en los que se sustenta la validez de los test, (b) el proceso de validación, y (c) una guía práctica para planificar y recoger evidencias de validez que apoyen el uso de un test para alcanzar el objetivo previsto. Resultados: En primer lugar, se describe el concepto de validez y las fuentes de evidencia, aportando ejemplos específicos donde se abordan cada una de ellas. A continuación, se describe una agenda de validación en la que se enumeran los pasos y tareas necesarios para planificar y completar un estudio de validación. Conclusiones: Finalmente, se discute la relevancia de adoptar una aproximación comprehensiva al abordar estudios de validación.(AU)

Análisis de Redes: una Alternativa a los Enfoques Clásicos de Evaluación de los Sistemas Educativos / Network analysis: An alternative to classic approaches for education systems evaluation

Las abundantes investigaciones sobre los sistemas educativos han permitido identificar los factores fundamentales que determinan el éxito educativo del alumnado. Sin embargo, estas investigaciones no han sido muy eficientes a la hora de transferir los resultados a los contextos aplicados en los que se mueven los profesionales y directivos que toman las decisiones sobre los sistemas educativos. La razón principal de este fracaso proviene de la poca familiarización de los profesionales de la educación con la sofisticada metodología estadística y psicométrica utilizada por la mayoría de los investigadores. El objetivo del presente trabajo es analizar los sistemas educativos mediante la metodología de análisis de redes, la cual es muy asequible, clara e intuitiva para profesionales y directivos educativos sin una gran sofisticación metodológica. Se utilizó una muestra de 7,882 estudiantes de segundo curso de la Enseñanza Secundaria Obligatoria. Se evaluó su competencia matemática y se obtuvieron datos relativos al contexto educativo. Se utilizó para los análisis el análisis de redes, calculando indicadores de centralidad, así como de precisión y estabilidad de la red. Los resultados indican que el autoconcepto y las expectativas académicas tienen un importante efecto sobre los resultados en matemáticas. Los hallazgos convergen con los obtenidos previamente con otros enfoques. El acercamiento de análisis de redes ofrece una combinación idónea entre rigor analítico y sencillez interpretativa, lo que le confiere gran potencial para ser empleado en contextos educativos aplicados para la toma de decisiones basadas en datos.

Widespread research on educational systems has made it possible to identify the main factors that define students’ educational success. Nevertheless, these studies have not been very efficient when it comes to transferring their conclusions to the applied contexts where those who teach or make decisions about educational systems move. The main reason for this failure lies on the unfamiliarity of education professionals with the sophisticated statistical and psychometric methodology used by most researchers. The goal of this paper is to analyze educational systems using the Network Analysis methodology, which is very affordable, clear, and intuitive for teachers and educational leaders without a great methodological sophistication. A sample of 7,882 eighth-graders was used. Students’ mathematical skills were evaluated and data were obtained from their educational context. Network Analysis was used calculating indicators of centrality, as well as precision and stability of the network. The results indicate that academic self-concept and academic expectations have an important effect on performance in mathematics. The findings match with those previously obtained with other approaches. The Network Analysis methodology offers an ideal combination of analytical rigor and interpretative simplicity, that provides a great potential to be used in applied educational contexts for evidence-based decision making.

Planejamento estratégico de um programa de pós-graduação em rede: experiência de construção coletiva / Strategic planning of a network-based graduate health program: an experience of participatory planning / Planificación estratégica de un programa de posgrado en red: experiencia de construcción colectiva

Trata-se do relato da elaboração do plano estratégico 2021-2024 do Programa de Pós-Graduação em Saúde da Família da Rede Nordeste de Formação em Saúde da Família. Desenvolvido em 2020, o plano visa ao fortalecimento do programa a partir do trabalho coletivo, que valoriza o conjunto e as especificidades. Três perguntas orientaram esta sistematização: Em que contexto aconteceu a experiência? Como se deu o percurso metodológico dos sujeitos, em rede formativa, fazendo o caminho ao caminhar? Como as três partes fundamentais de um plano são interligadas formando um todo? As narrativas expressam uma experiência participativa de planejamento. Esse caminho mobilizou a rede para uma ação educativa e estratégica, tornando vivos o respeito, a diversidade cultural e a cooperação. Considera-se o percurso efetivo, resultando em um documento que orientará o programa no quadriênio.(AU)

This article provides an account of the elaboration of the 2021-2024 strategic plan of the Graduate Program in Family Health offered by the Northeast Family Health Education Network. Developed in 2020, the plan aims to strengthen the Program by promoting collective working that emphasizes a holistic approach and specificities. The study was guided by three key questions: In what context did the experience take place? What was the methodological path taken by the subjects in the training network built as they went along? How are the three fundamental parts of a plan linked together to form a whole? The narratives express a participatory planning experience. This pathway mobilized the network around an educational and strategic action, bringing respect, cultural diversity and cooperation to life. The findings show that the pathway was effective, resulting in a guiding document for the program for the four-year period.(AU)

Es el relato de la elaboración del plan estratégico 2021-2024 del Programa de Posgrado en Salud de la Familia de la Red Nordeste de Formación en Salud de la Familia. Desarrollado en 2020, el plan tiene el objetivo de fortalecer el Programa a partir del trabajo colectivo, que valoriza el conjunto y las especificidades. Tres preguntas orientaron esta sistematización: ¿En qué contexto sucedió la experiencia? ¿Cómo se realizó la jornada metodológica de los sujetos, en red formativa, haciendo camino al andar? ¿Cómo las tres partes fundamentales de un plan se interconectan formando un todo? Las narrativas expresan una experiencia participativa de planificación. Ese camino movilizó la red hacia una acción educativa y estratégica, dando vida al respeto, la diversidad cultural y la cooperación. Se considera la jornada efectiva, resultado en un documento que orientará el Programa en el cuadrienio.(AU)

Cardiopulmonary resuscitation in pregnant women: creation and validation of a checklist to evaluate the nursing practice / Reanimación cardiopulmonar en mujeres embarazadas: elaboración y validación de una checklist para evaluar la práctica de enfermería / Ressuscitação cardiopulmonar em gestantes: construção e validação de checklist para avaliar prática da enfermagem

ABSTRACT Objective to create and validate a checklist to evaluate the Nursing practice in cardiopulmonary resuscitation in pregnant women. Method a methodological study developed from May to August 2019, conducted from creation of the instrument and content validation in charge of 11 nurses specialized in Urgencies and Emergencies and 12 obstetric nurses. A Likert-type scale was used to assess language, clarity, objectivity, content, relevance and pertinence of the instrument. The validation criterion was agreement above 80%, analyzed by means of the Content Validation Index and the Binomial Test. Results the final version of the instrument consisted of 54 questions that contemplated the sequence of actions to be adopted by the health professionals in the face of obstetric cardiopulmonary arrests. The minimum agreement level obtained was 91% and the mean Content Validity Index was 0.99. Conclusion the validated instrument can be used by professors involved in the teaching of obstetric cardiopulmonary arrest and contribute to the assessment of skills in the Nursing practice, to be carried out in research studies that test the effectiveness of educational interventions and training sessions.

RESUMEN Objetivo elaborar y validar una checklist para evaluar la práctica de Enfermería en reanimación cardiopulmonar en mujeres embarazadas. Método estudio metodológico, desarrollado de mayo a agosto de 2019, realizado a partir de la elaboración del instrumento y la validación de su contenido a cargo de 11 enfermeros especializados en Urgencias y Emergencias y de otros 12 especializados en Obstetricia. Se utilizó una escala de tipo Likert para evaluar el lenguaje, la claridad, la objetividad, el contenido, la relevancia y la pertinencia del instrumento. El criterio de validación correspondió a concordancia superior al 80%, analizada por medio del Índice de Validez de Contenido y de la Prueba Binomial. Resultados la versión final del instrumento estuvo conformada por 54 preguntas que contemplaron la secuencia de acciones que deben realizar los profesionales de la salud ante una parada cardiorrespiratoria obstétrica. La concordancia mínima obtenida fue del 91% y el valor medio del Índice de Validez de Contenido fue 0,99. Conclusión el instrumento validado puede ser utilizado por docentes que se dedican a enseñar el tema de Parada cardiorrespiratoria obstétrica y contribuir con la evaluación de las habilidades en la práctica de Enfermería, a ser realizada en trabajos de investigación que ponga a prueba la efectividad de intervenciones educativas y programas de capacitación.

RESUMO Objetivo construir e validar checklist para avaliar a prática da enfermagem na ressuscitação cardiopulmonar em gestantes. Método estudo metodológico, desenvolvido de maio a agosto de 2019 realizado a partir da construção do instrumento e validação de conteúdo por 11 enfermeiros especialistas em urgência e emergência e 12 em obstetrícia. Foi utilizada escala do tipo Likert, acerca da linguagem, clareza, objetividade, conteúdo, relevância e pertinência instrumento. O critério de validação foi concordância superior a 80%, analisada mediante o Índice de Validação de Conteúdo e do Teste Binomial. Resultados a versão final do instrumento foi composta por 54 questões que contemplaram a sequência de condutas a serem adotadas pelo profissional de saúde, diante de uma parada cardiorrespiratória obstétrica. A concordância mínima obtida foi de 91% e a média do Índice de Validação de Conteúdo foi de 0,99. Conclusão o instrumento validado pode ser utilizado por docentes envolvidos no ensino da parada cardiorrespiratória obstétrica e contribuir com a avaliação da habilidade na prática da enfermagem, a ser realizada em pesquisas que testem a efetividade de intervenções educativas e treinamentos.

Aspectos acadêmicos da coreme no HGRS: ampliando a qualidade do ensino na residência médica / Academic aspects of coreme at HGRS: improving teaching quality in medical residency / Aspectos académicos de coreme en HGRS: aumentar la calidad de la enseñanza en la residencia médica

Aprimorar o serviço acadêmico da residência médica é fundamental para a credibilidade do ensino de uma instituição que tem credenciamento de programas para a formação de médicos especialistas. O objetivo deste trabalho é descrever a experiência dos últimos dois anos com a implementação de ações da secretaria acadêmica da Comissão de Residência Médica (Coreme) em um hospital público e promover novas reflexões e conhecimentos sobre a estrutura acadêmica do ensino na residência médica e suas dimensões técnicas, políticas, administrativas e éticas. Com o desenvolvimento organizativo da Coreme do Hospital Geral Roberto Santos (HGRS), foi possível aumentar a satisfação dos profissionais médicos residentes na instituição com a qualidade da formação. A adesão aos programas foi ampliada e a transferência, a desistência e a evasão dos residentes diminuíram, principalmente durante o período da pandemia da covid-19. Além disso, a interação e a integração entre os supervisores e preceptores dos programas melhorou, favorecendo a troca de informações e experiências e formando um grupo mais coeso em prol da qualidade da residência médica. A Coreme do HGRS, incluindo todos os seus representantes, incorpora incessantemente seu papel nas práticas educacionais promovidas na residência médica do Hospital Geral Roberto Santos a fim de fomentar iniciativas exitosas e inovadoras na instituição.

Improving medical residency academic service is essential for teaching credibility in institutions with accredited training programs for specialist physicians. This work aims to describe the past two-year experience of the academic secretariat of the Medical Residency Committee (COREME) in implementing actions aimed at promoting new reflections and knowledge about the academic structure of teaching in medical residency in a public hospital, considering its technical, political, administrative, and ethical dimensions. The organizational development of COREME in the Hospital Geral Roberto Santos (HGRS) improved satisfaction of medical professionals undertaking residency in the institution with training quality, increasing adherence to the programs while reducing transfer, withdrawal, and evasion ­ especially considering the COVID-19 pandemic period. Moreover, COREME improved interaction and integration among supervisors and preceptors, favoring the exchange of information and experiences and forming a more cohesive group in favor of the quality of medical residency. In the context of HGRS, COREME and all its representatives play a key role in the teaching promoted in medical residency, seeking to offer and incorporate innovative and successful teaching and research practices for improving teaching quality in the institution.

Mejorar el servicio académico de la residencia médica es fundamental para la credibilidad de la docencia en una institución que cuenta con programas acreditados para la formación de médicos especialistas. El objetivo de este trabajo es describir la experiencia de los últimos dos años sobre la implementación de acciones de la secretaría académica del Comité de Residencia Médica en un hospital público y promover nuevas reflexiones y conocimientos sobre la estructura académica de la docencia en la residencia médica, en sus dimensiones técnicas, políticas, administrativas y éticas. Con el desarrollo organizacional del Coreme del hospital HGRS, se logró promover una mejor satisfacción de los profesionales médicos residentes en la institución con la calidad de la capacitación, ampliando la adherencia a los programas, al tiempo que se redujo el traslado, retiro y evasión del residente, especialmente considerando el período de pandemia de Covid-19. Se mejoró la interacción e integración entre supervisores y preceptores del programa, favoreciendo el intercambio de información y experiencias, con un grupo más cohesionado a favor de la calidad de la residencia médica. El Coreme de HGRS, incluyendo todo lo que representa, incorpora su rol en las prácticas docentes impulsadas en la residencia médica del Hospital Geral Roberto Santos en una búsqueda incesante por promover, incorporar e innovar con prácticas docentes e investigadoras exitosas en beneficio de la calidad docente desarrollada en la institución.

Acciones de superación profesoral en departamento de ciencias básicas. Facultad de Ciencias Médicas Dr. Ernesto Guevara de la Serna / Actions for the training of the teaching staff in the department of basic sciences at Dr. Ernesto Guevara de la Serna School of Medical Sciences

RESUMEN Introducción: el perfeccionamiento de la superación profesoral de un departamento docente en una institución universitaria, se debe medir por el mejoramiento de la calidad del proceso docente educativo e investigativo, por ello es importante el papel del mismo en el proceso de superación profesoral del claustro. Objetivo: proponer acciones que contribuyan al perfeccionamiento del proceso de superación profesoral de la Facultad de Ciencias Médicas "Dr. Ernesto Guevara de la Serna" en el curso 2019-2020. Métodos: se realizó estudio de tipo organizacional, se aplicaron métodos teóricos y empíricos. Se encuestaron nueve directivos. Técnicas: Lluvia de ideas, Diagrama de Ishikawa y Matriz DAFO. Las variables evaluadas fueron la categoría docente, científica e investigativa del claustro. Para el procesamiento de los datos se aplicó la estadística descriptiva y el análisis de los resultados a través de la frecuencia absoluta y relativa. Resultados: el 72 % de profesores se encontraron en las categorías de instructor o asistente. Escasa cantidad de doctores en ciencias y profesores titulares. Insuficiente número de profesores con categoría investigativa. Sobresalió la falta de organización entre la labor investigativa, profesional y docente, la insuficiente planificación de las figuras académicas en correspondencia con las necesidades del claustro y que no se toma en consideración la superación profesoral como expresión de ejemplaridad. Conclusiones: se identificaron los principales problemas que inciden en el proceso de superación profesoral, insuficiencias relativas a la organización, la evaluación y el control. Se elaboró una propuesta de acciones para perfeccionar el proceso de superación profesoral.

ABSTRACT Introduction: the training of the staff at a teaching department in a university should be measured by the improvement of the quality of the research and teaching-learning process; therefore the role of this department in the process of training the teaching staff of the School of Medical Sciences is important. Objective: to propose actions to contribute to the training of the teaching staff in the department of basic sciences at Dr. Ernesto Guevara de la Serna School of Medical Sciences during the academic year 2019-2020. Methods: an organizational-type study was carried out; theoretical and empirical methods were applied. Nine executives were surveyed. Techniques: Brainstorming, Ishikawa Diagram and SWOT Matrix. The variables evaluated were the teaching ranks, scientific and research categories of the staff. For data processing, descriptive statistics was applied and the results were analyzed by means of absolute and relative frequency. Results: professors were in the teaching ranks of instructor or assistant (72 %). The number of PhD and full professors is not enough. Professors in the research category are insufficient. Lack of organization involving research, professional and teaching work was identified, scarce planning of the academic figures in accordance with the needs of the teaching staff, and the fact that the training of professors is not taken into consideration as an expression of example. Conclusions: the main problems affecting the training of the teaching staff were identified, as well as insufficiencies related to the organization, evaluation and control, a proposal of actions to improve the process of training the teaching staff was made.

THE EDUCATIONAL ENVIRONMENT THROUGH THE LENSES OF A PEER MENTORING GROUP FOR MEDICAL STUDENTS / EL ENTORNO EDUCATIVO A TRAVÉS DE LOS LENTES DE UN GRUPO DE TUTORÍA DE PARES PARA ESTUDIANTES DE MÉDICA / O AMBIENTE EDUCACIONAL PELAS LENTES DE UM GRUPO DE MENTORIA ENTRE PARES PARA ESTUDANTES DE MEDICINA

The perception of the learning process is shaped by individual experiences and related to the academic environment. This article aimed to evaluate the perception of the educational environment of medical students linked to the peer-mentoring group GEDAAM (Study Group on Didactics Applied to Medical Learning) at the Federal University of Minas Gerais. The data come from a cross-sectional study with 129 members of GEDAAM. The Dundee Ready Education Environment Measure (DREEM) scale was used to assess the perception of the educational environment. Descriptive and comparative analysis were performed (Chi-square test). For almost all assessed domains, the students' perception was more positive than negative (Global score = 108.41). The longer the length of stay at GEDAAM, the worse the Global perception of the educational environment. It is suggested that participating in GEDAAM contributes to a more critical view of the medical teaching environment. 

La percepción del proceso de aprendizaje está conformada por experiencias individuales y relacionada con el entorno académico. Este artículo tuvo como objetivo evaluar la percepción del entorno educativo de los estudiantes de medicina vinculados al grupo de mentoría entre pares GEDAAM (Grupo de Estudio de Didáctica Aplicada al Aprendizaje de la Medicina) de la Universidad Federal de Minas Gerais. Los datos provienen de un estudio transversal con 129 miembros de GEDAAM. Se utilizó la escala Dundee Ready Education Environment Measure (DREEM) para evaluar la percepción del entorno educativo. Se realizaron análisis descriptivos y comparativos (prueba de Chi-cuadrado). Para casi todos los dominios evaluados, la percepción de los estudiantes fue más positiva que negativa (puntuación global = 108,41). Cuanto más tiempo se pasa en GEDAAM, peor es la percepción global del entorno educativo. Se sugiere que la participación en el GEDAAM contribuya a una visión más crítica del entorno de la enseñanza médica.

A percepção do processo de aprendizagem é moldada por experiências individuais e relacionadas ao meio acadêmico. Este artigo objetivou avaliar a percepção do ambiente educacional de estudantes de medicina ligados ao grupo de mentoria entre pares GEDAAM (Grupo de Estudos em Didática Aplicada ao Aprendizado da Medicina) da Universidade Federal de Minas Gerais. Os dados são provenientes de estudo transversal com 129 membros do GEDAAM. A escala Dundee Ready Education Environment Measure (DREEM) foi utilizada para avaliar a percepção do ambiente educacional. Foram realizadas análises descritivas e comparativas (Teste Qui-quadrado). Para quase todos os Domínios avaliados a percepção dos estudantes foi mais positiva do que negativa (escore Global=108,41). Quanto maior o tempo de permanência no GEDAAM, pior a percepção Global do ambiente educacional. Sugere-se que participar do GEDAAM contribua para uma visão mais crítica do ambiente de ensino de medicina.

Creating an objective measurement for the Enem: an analysis using the Rasch Model / Criando uma medida verdadeira para o Enem: uma análise pelo Modelo Rasch / Creando una verdadera medida para Enem: un análisis por el Modelo Rasch

In the 1930s, a group of scientists argued that the empirical concatenation of observable elements was not possible in the human and social sciences and was, thus, not feasible to obtain objective measurements similar to those found in physics. To address this issue, mathematical theories that do not require concatenation were proposed in the 1960s, including the Additive Conjoint Measurement Theory (ACMT). In the same decade, George Rasch developed the simple logistic model for dichotomous data as a probabilistic operationalization of the ACMT. This study investigates the possibility of developing a fundamental measure for the National Exam of Upper Secondary Education (ENEM) that applies Rasch's model to students' performance on the 2011 ENEM exam. The results indicate an adequate model fit, demonstrating the viability of a fundamental measure using ENEM data. Implications are discussed.

Nos anos 1930, um grupo de cientistas argumentou que a concatenação empírica de elementos observáveis não seria possível nas Ciências Humanas e Sociais e por isso era inviável obter medidas verdadeiras nesses campos do conhecimento científico. Para lidar com este problema, foram propostas teorias matemáticas nas quais a concatenação empírica não seria necessária, como a Teoria de Medidas Aditivas Conjuntas (TMAC). No mesmo período, George Rasch desenvolveu o modelo logístico simples para dados dicotômicos, uma operacionalização probabilística da TMAC que viabiliza a análise empírica de pressupostos da medida verdadeira. Em nosso estudo, investigamos o desenvolvimento de uma medida verdadeira para o Exame Nacional do Ensino Médio (ENEM), aplicando o modelo logístico simples em dados referentes à performance dos participantes da edição de 2011 do ENEM. Os resultados indicaram um ajuste adequado do modelo, apontando para a viabilidade da construção de uma medida verdadeira para o ENEM. Implicações são discutidas.

En los años 1930, un grupo de científicos argumentó que la concatenación empírica de elementos observables no sería posible en Ciencias Humanas y Sociales y por consiguiente sería inviable obtener medidas verdaderas similares a las de Física. Para abordar este problema, a partir de los años 1960 se proponían teorías en las cuales la concatenación empírica no es necesaria, como la Teoría de Medidas Aditivas Conjuntas (TMAC). Al mismo período, George Rasch desarrolló el modelo logístico simple para datos dicotómicos, una operacionalización probabilista de la TMAC. Este estudio investigó la posibilidad de desarrollar una medida verdadera para el Examen Nacional de la Secundaria Superior (ENEM), aplicando el modelo logístico simple en los datos referentes a la performance de los participantes en la prueba de 2011 del ENEM. Los resultados indicaron adecuado ajuste del modelo, asi como la viabilidad de una medida verdadera para el ENEM. Implicaciones son discutidas.

A compreensão dos docentes sobre a formação em Saúde Coletiva nos cursos de Fonoaudiologia de universidades públicas do Nordeste brasileiro / Education for public health from the perspective of professors teaching on speech-language-hearing undergraduate programs in public universities in the Northeast of Brazil / La comprensión de los docentes sobre la formación en salud colectiva en los cursos de fonoaudiología de universidades públicas del Nordeste brasileño

No Brasil, os cursos de graduação em Fonoaudiologia, com a implantação das Diretrizes Curriculares Nacionais (DCN), ampliaram a oferta de componentes curriculares de Saúde Coletiva, buscando fortalecer a inserção dos estudantes no Sistema Único de Saúde (SUS). Diante disso, este artigo objetiva compreender a formação em Saúde Coletiva dos cursos de Fonoaudiologia em universidades públicas do Nordeste brasileiro, na perspectiva docente. Para a produção de dados foram realizadas entrevistas com sete informantes-chave, e para a análise foram utilizados os referenciais teóricos sobre Saúde Coletiva e atos de currículo. Nos resultados, identificou-se uma compreensão dos docentes sobre a formação em Saúde Coletiva como espaço privilegiado para a formação no contexto do SUS, ainda que tenha sido observada uma heterogeneidade na concepção de Saúde Coletiva. Isso aponta para a necessidade de fomentar estudos que subsidiem a ampliação da inserção dos estudantes no SUS. (AU)

With the implementation of the National Curriculum Guidelines in Brazil, speech therapy degree courses have expanded the provision of modules on public health, aiming to promote the incorporation of students into Brazilian National Health System (SUS). The aim of this article was to understand education for public health from the perspective of professors teaching on speech-language-hearing undergraduate programs in public universities in the Northeast of Brazil. We conducted interviews with seven key informants. The data was analyzed in the light of the relevant literature on public health and "curriculum acts". Although different conceptions of public health were observed, the findings show that professors understand that education for public health is uniquely positioned to promote education in the context of the SUS. The findings point to the need to promote studies that support the incorporation of students into the SUS. (AU)

En Brasil, los cursos de graduación en fonoaudiología, con la implantación de las Directrices Curriculares Nacionales, ampliaron la oferta de componentes curriculares de salud colectiva, buscando fortalecer la inserción de los estudiantes en el Sistema Brasileño de Salud (SUS). Llevando ese hecho en consideración, este artículo tiene el objetivo de comprender la formación en salud colectiva de los cursos de fonoaudiología en universidades públicas del Nordeste brasileño, desde la perspectiva docente. Para la producción de datos se realizaron entrevistas con siete informantes clave y para el análisis se utilizaron los referenciales teóricos sobre salud colectiva y actos de currículo. En los resultados, se identificó una comprensión de los docentes sobre la formación en salud colectiva como espacio privilegiado para la formación en el contexto del SUS, aunque se haya observado una heterogeneidad en la concepción de salud colectiva. Eso señala la necesidad de fomentar estudios que subsidien la ampliación de la inserción de los estudiantes en el SUS. (AU)

O "furor avaliativo" como sintoma social da educação brasileira? / ¿El "furor evaluativo" como síntoma social de la educación brasileña? / Does "evaluative furor" as a social symptom of Brazilian education? / La « fureur évaluative est-elle ¼ un symptôme social de l'éducation brésilienne?

A partir da práxis de pesquisa no campo de estudos de Psicanálise e Educação, em que a negação da dimensão impossível do educar retorna como impotência de saber e fracasso, este artigo põe em suspeição o aparato de gestão e avaliação escolar, o qual fornece suporte ao que se considera uma verdadeira impostura político-pedagógica à moda brasileira: as avaliações educacionais estandardizadas associadas às metas de desempenho e aos dispositivos de responsabilização escolar. A reflexão acerca do "furor avaliativo" remete à denegação simbólica no campo sociopolítico como sintoma social implicado à educação brasileira. A despeito do que se possa pensar o imaginário pedagógico nacional, o "furor avaliativo" se inscreve no registro de uma fantasia de acesso a um gozo sem limites - na medida em que se avalia justamente o que não se ensina -, retrato dessa busca por um gozo desmedido relacionado à "fantasia de Brasil".

Basado en la praxis de investigación en el campo de los estudios de Psicoanálisis y Educación, en el que la negación de la dimensión imposible de la educación retorna como la impotencia del conocimiento y el fracaso, este artículo interroga el aparato de gestión y evaluación escolar que proporciona lo que se considera una verdadera impostura político-pedagógica a la moda brasileña: evaluaciones educativas estandarizadas asociadas con objetivos de rendimiento y dispositivos de responsabilidad escolar. La reflexión sobre el "furor evaluativo" se refiere a la negación simbólica en el campo sociopolítico como un síntoma social implicado en la educación brasileña. A pesar de lo que pueda pensar el imaginario pedagógico nacional, el "furor evaluativo" está inscrito en el registro de una fantasía de acceso al disfrute ilimitado, en la medida en que evalúa exactamente lo que no se enseña, un retrato de esta búsqueda del disfrute excesivo relacionado con la "fantasía de Brasil".

Based on research praxis in the field of Psychoanalysis and Education studies, in which the denial of the impossible dimension of educating returns as the impotence of knowledge and failure, this article puts in suspicion the apparatus of school management and evaluation which it provides support for what is considered a true political-pedagogical imposture in the Brazilian fashion: standardized educational assessments associated with performance goals and school accountability devices. The reflection on the "evaluative furor" refers to the symbolic denial in the socio-political field as a social symptom implicated in Brazilian education. In spite of what one might think of the national pedagogical imaginary, the "evaluative furor" is inscribed in the register of a fantasy of access to unlimited enjoyment - insofar as it evaluates exactly what is not taught - a portrait of this search for excessive enjoyment related to "fantasy of Brazil".

Sur la base de la praxis de recherche dans le domaine de la psychanalyse et des études sur l'éducation, dans laquelle le déni de la dimension impossible de l'éducation revient comme l'impuissance du savoir et l'échec, cet article met en suspicion l'appareil de gestion et d'évaluation scolaire, qui soutient la qui est considérée comme une véritable imposture politico-pédagogique à la mode brésilienne: évaluations pédagogiques standardisées associées aux objectifs de performance et aux dispositifs de redevabilité scolaire. La réflexion sur la fureur évaluative conduit au déni symbolique dans le champ socio-politique en tant que symptôme social impliqué dans l'éducation brésilienne. Malgré ce que l'on pourrait penser de l'imaginaire pédagogique national, la « fureur évaluative ¼ s'inscrit dans le registre d'un fantasme d'accès à la jouissance illimitée - dans la mesure où elle évalue exactement ce qui n'est pas enseigné -, portrait de cette recherche de jouissance rampant lié au «fantasme du Brésil¼.

Curso de desenvolvimento de competência pedagógica para prática da preceptoria e docência: aplicabilidade no cotidiano de uma escola de medicina / Course for developing pedagogical competence for preceptory and teaching practice: applicability in the daily lives of a medical school / Curso para el desarrollo de la competencia pedagógica de preceptoría y práctica docente: aplicabilidad en la vida diaria de una escuela médica

Introdução: A formação de professores é assunto rotineiro na literatura. Existe uma tendência no sentido de conscientizar o professor universitário de que sua função como docente de ensino superior é uma profissão e requer capacitação específica. Na área médica, o conceito de um bom professor depende de sua boa reputação na sua especialidade e de sua formação pedagógica. Objetivos: Descrever os resultados da aplicação de um curso de desenvolvimento de docentes, assessores técnicos e preceptores e o grau de satisfação dos mesmos com essa iniciativa da IES. Material e Método: Estudo transversal, descritivo, quantitativo, realizado através da aplicação de um "questionário estruturado não disfarçado" aos orientadores de ensino do curso de Medicina UNIFIPA, da cidade de Catanduva-SP, no período de junho a outubro/2019. Os resultados foram expressos em nº e %. Resultados: Estratégias mais usadas: aula expositiva dialogada (60,7%); estudo dirigido/estudo caso (39,3%); solução de problemas/seminário (32,1%) e as menos usadas foram: painel/simpósio (7,1%); oficina/estudo de meio (3,6%); fórum (1,8%). Instrumentos mais usados: prova teórica-dissertativa/objetiva (53,6%); discussão caso clínico (44%); OSCE (21,4%); seminário (17,9%) e os menos usados foram: MCQ (7,2%); EMI (3,6%); Viva voice, Logbook e TOACS (1,8%). Conclusões: O presente estudo permitiu concluir que o grau de satisfação dos orientadores de ensino foi altamente satisfatório, cumprindo com o propósito de melhorar seus desempenhos. Os resultados auxiliaram na elaboração de um diagnóstico situacional deste inovador processo institucional e sugerem a necessidade de se ampliar os programas de desenvolvimento docente de forma a capacitar a totalidade do seu quadro de orientadores.(AU)

Introduction: Teacher training is a routine subject in the literature. There is a tendency to make the university professor aware that his function as a higher education teacher is a profession and requires specific training. In the medical field, the concept of a good teacher depends on his good reputation in his specialty and his pedagogical training. Objectives: To describe the results of the application of a course of development of teachers, technical advisors and preceptors and their degree of satisfaction with this initiative of the IES. Material and Method: Cross-sectional, descriptive, quantitative study, conducted through the application of a "structured questionnaire not disguised" to teaching advisors of the course of Medicine UNIFIPA, in the city of Catanduva-SP, from June to October/2019. The results were expressed in numbers and %. Results: Most used strategies: lecture dialogue (60.7%); directed study/case study (39.3%); problem solving/seminar (32.1%) and the least used were: panel/symposium (7.1%); workshop/media study (3.6%); forum (1.8%). Most commonly used instruments: theoretical-dissertative/objective test (53.6%); clinical case discussion (44%); OSCE (21.4%); seminar (17.9%) and the least used instruments were: MCQ (7.2%); EMI (3.6%); Viva voice, Logbook and TOACS (1.8%). Conclusions: The present study allowed the conclusion that the degree of satisfaction of the teaching counselors was highly satisfactory, fulfilling the purpose of improving their performances. The results helped in the elaboration of a situational diagnosis of this innovative institutional process and suggest the need to expand the teacher development programs in order to empower the whole of its guiding staff.(AU)

Introducción: La formación del profesorado es una asignatura habitual en la literatura. Hay una tendencia a que los profesores universitarios sean conscientes de que su papel como docentes de educación superior es una profesión y requiere una formación específica. En el campo de la medicina, el concepto de un buen maestro depende de su buena reputación en su especialidad y de su formación pedagógica. Objetivos: Describir los resultados de la aplicación de un curso para el desarrollo de docentes, asesores técnicos y preceptores y el grado de satisfacción de los mismos con esta iniciativa de la IES. Material y Método: Estudio transversal, descriptivo, cuantitativo, realizado mediante la aplicación de un "cuestionario estructurado no encubierto" a los asesores docentes...(AU)

Comparing the predictive power of the CART and CTREE algorithms / Comparando o poder preditivo dos Algoritmos CART e CTREE / Comparando el poder predictivo de los algoritmos CART y CTREE

The CART algorithm has been extensively applied in predictive studies, however, researchers argue that CART produces variable selection bias. This bias is reflected in the preference of CART in selecting predictors with large numbers of cutpoints. Considering this problem, this article compares the CART algorithm to an unbiased algorithm (CTREE), in relation to their predictive power. Both algorithms were applied to the 2011 National Exam of High School Education, which includes many categorical predictors with a large number of categories, which could produce a variable selection bias. A CTREE tree and a CART tree were generated, both with 16 leaves, from a predictive model with 53 predictors and the students' writing essay achievement as the outcome. The CART algorithm yielded a tree with a better outcome prediction. This result suggests that for large data sets, called big data, the CART algorithm might give better results than the CTREE algorithm.(AU)

O algoritmo CART tem sido aplicado de forma extensiva em estudos preditivos. Porém, pesquisadores argumentam que o CART apresenta sério viés seletivo. Esse viés aparece na preferência do CART pelos preditores com grande número de categorias. Este artigo considera esse problema e compara os algoritmos CART e CTREE, este considerado não enviesado, tomando como resultado seu poder preditivo. Os algoritmos foram aplicados no Exame Nacional do Ensino Médio de 2011, no qual estão incluídos vários preditores nominais e ordinais com muitas categorias, o que pode produzir um viés seletivo. Foram geradas uma árvore do CTREE e outra do CART, ambas com 16 folhas, provenientes de um modelo com 53 variáveis preditoras e a nota da redação, como desfecho. A árvore do algoritmo CART apresentou uma melhor predição. Para grandes bancos de dados, possivelmente o algoritmo CART é mais indicado do que o algoritmo CTREE.(AU)

El algoritmo CART es ampliamente utilizado en análisis predictivos. Sin embargo, los investigadores argumentan que el CART presenta un fuerte sesgo de selección. Este sesgo se refleja en el CART en la preferencia de seleccionar predictores con elevado número de categorías. Teniendo en cuenta este problema, el presente artículo compara el algoritmo CART y un algoritmo imparcial (CTREE) con relación a su poder predictivo. Ambos algoritmos se aplicaron en el Examen Nacional de la Enseñanza Secundaria de 2011, incluyendo predictores nominales y ordinales con diversas categorías, un escenario susceptible de producir el sesgo de selección de variables mencionado. Fueron generados un árbol CTREE y un árbol CART, ambos con 16 hojas, provenientes de un modelo predictivo con 53 variables y la nota del comentario de texto. El árbol del algoritmo CART presentó mejor predicción. Para grandes bases de datos el algoritmo CART puede proporcionar mejores resultados que el CTREE.(AU)

Bifactor invariance analysis of student conceptions of assessment inventory / Análise da invariância bifatorial do inventário de concepções de avaliação de estudantes / Análisis de la invarianza bifactorial del inventario de concepciones de evaluación de estudiantes

Student conceptions of the purposes of assessment are an important aspect of self-regulated learning. This study advances our understanding of the Student Conceptions of Assessment Inventory (SCoA) by examining the generalizability of the factorial structure of the SCoA using bifactor analysis and conducting cross-cultural invariance testing between Brazil and New Zealand. Eight different models were specified and evaluated, with the best model being adopted for invariance testing. This research adds to our understanding of the cross-cultural properties of the SCoA because the introduction of the bifactor model resulted in metric equivalence between countries, which had previously had only partial metric equivalence. Future studies should attempt to create more items around several SCoA constructs. (AU)

As concepções de estudantes dos propósitos da avaliação são um aspecto importante da aprendizagem autorregulada. Este estudo avança nossa compreensão do Inventário de Concepções de Avaliação de Estudantes (CAE), pelo exame da generalização da estrutura fatorial do CAE usando análise bifatorial e realizando testes de invariância transcultural entre o Brasil e a Nova Zelândia. Oito modelos diferentes foram especificados e avaliados, com o melhor modelo adotado para o teste de invariância. Esta pesquisa acrescenta à nossa compreensão das propriedades transculturais do CAE porque a introdução do modelo bifatorial resultou em equivalência métrica entre países, que anteriormente tinham apenas equivalência métrica parcial. Estudos futuros devem tentar criar mais itens em torno de vários construtos do CAE. (AU)

Las concepciones de los estudiantes sobre los própositos de evaluación, son un aspecto importante del aprendizaje autorregulado. Este estudio amplía nuestra comprensión sobre el Inventario de Concepciones de Evaluación de Estudiantes (CEE), mediante la investigación de la generalización de la estructura factorial del CEE utilizando análisis bifactorial y realizando tests de invariancia transcultural entre Brasil y Nueva Zelanda. Se especificaron y evaluaron ocho modelos diferentes,con el mejor modelo adoptado para el test de invariancia. Esta investigación aumenta nuestra comprensión de las propiedades transculturales del CEE, ya que la introducción del modelo bifactorial resultó con equivalencia métrica entre países, que anteriormente tenían sólo equivalencia métrica parcial. En el futuro, otros estudios posiblemente tratarán de crear más ítems sobre varios constructos del CEE. (AU)

El uso del portafolio para el pregrado en Ciencias Médicas / The Usage of the Portfolio for the Undergraduate Level in Medical Sciences

En los últimos años ha surgido la utilización del portafolio o carpeta como herramienta en los procesos formativos, al adoptarse una nueva y renovada visión sobre la enseñanza, el aprendizaje desarrollador y la evaluación educativa. El objetivo de este artículo es evaluar la competencia del uso del portafolio en el pregrado de Ciencias Médicas. Se demostró que en las universidades donde se utilizaba el portafolio, este favorecía el desarrollo profesional de los estudiantes, lo que propiciaba el dominio de competencias clínicas, y el desarrollo de actitudes como la responsabilidad y la sistematicidad; implicaba la documentación del aprendizaje y la recopilación de evidencias; y permitía la retroalimentación del desempeño del alumno. Aunque en los escenarios cubanos no se encontraron evidencias del empleo del portafolio, ya existen experiencias en varias latitudes que dan cuenta de los beneficios potenciales que esta herramienta está generando en el ámbito universitario, por lo que puede ser una buena opción o alternativa de evaluación(AU)

In recent years, the usage of the portfolio or folder as a tool in training processes has emerged as a new and renewed vision has been adopted regarding teaching, developing learning and educational evaluation. The objective of this article is to assess the competence associated to the usage of the portfolio in the undergraduate level of medical sciences. It was shown that, in the universities where the portfolio was used, it favored the students' professional development, which led to the mastery of clinical skills and the development of attitudes such as responsibility and systematicity; it involved the documentation of learning and the collection of evidence; and allowed feedback on student performance. Although there was no evidence of the usage of the portfolio in Cuban settings, there are already experiences in several sites that account for the potential benefits that this tool is generating in the university context, so it can be a good option or alternative for evaluation(AU)

Corrida orientada: estratégia para avaliação dos conteúdos da Educação Física escolar / Guided race: a strategy for Physical Education content evaluation at school / Guided race: a strategy for Physical Education content evaluation at school

O objetivo deste estudo foi relatar uma experiência de utilização da corrida orientada enquanto estratégia de avaliação dos conteúdos da Educação Física Escolar. A experiência foi desenvolvida com alunos do 8º e 9º ano do Ensino Fundamental de uma escola municipal de São José (SC). A avaliação da aprendizagem dos conteúdos foi realizada a partir de uma prova escrita, aplicada por meio da corrida orientada. Os alunos se envolveram ativamente na avaliação, fizeram debates e trocaram experiência sobre as respostas. Além disso, os estudantes foram incluídos nas decisões do processo avaliativo, possibilitando maior autonomia a estes. Conclui-se que esta experiência da avaliação se mostrou bastante pertinente, dinamizando o processo avaliativo.

This article goal is to report an experience of the use of a guided race as a strategy to evaluate the content of Physical Education at school. The experiment was carried out with 8th and 9th grade students from a public school at São José (SC). The evaluation of learning content was done by a written test, using the guided race as strategy. Students were actively involved in the assessment, debating and exchanging experiences on the answers. In addition, students were included in the decisions of the evaluation process, allowing greater autonomy. It is concluded that this evaluation experience was very relevant, stimulating the evaluation process.

El objetivo de este estudio fue relatar una experiencia de la utilización de la carrera orientada como estrategia de evaluación de los contenidos de la Educación Física Escolar. La experiencia fue desarrollada con alumnos del 8º y 9º año de la Educación Primaria de una escuela municipal de San José (SC). La evaluación del aprendizaje de contenidos se realizó a partir de una prueba escrita, aplicada a través de la carrera orientada. Los alumnos participaron activamente en la evaluación, hicieron debates e intercambiaron experiencias sobre las respuestas. Además, los estudiantes fueron incluidos en las decisiones del proceso de evaluación posibilitandoles mayor autonomía. Se concluye que esta experiencia de evaluación demostró ser bastante adecuada, dinamizando el proceso evaluativo

La analítica del aprendizaje en educación médica: ¿punto de inflexión? / Learning analytics in medical education: turning point?

Resumen La analítica del aprendizaje es una disciplina novedosa que tiene un enorme potencial para mejorar la calidad de la educación médica y la evaluación del aprendizaje. Se define como: “la medición, recopilación, análisis y reporte de datos sobre los alumnos y sus contextos, con el propósito de entender y optimizar el aprendizaje y los entornos en que ocurre”. En las últimas décadas, la aparición de grandes volúmenes de datos (big data), acompañada de una rápida evolución en la minería de datos educativos, la aparición de tecnologías sofisticadas para analizar y visualizar datos de cualquier tipo, así como la disponibilidad de dispositivos móviles con conectividad permanente, mayor velocidad de procesamiento y capacidad de recuperación de información, han generado un contexto que favorece el uso de la analítica del aprendizaje en la medicina clínica y la educación médica. En este artículo se describe la historia reciente del concepto de analítica del aprendizaje, sus ventajas y desventajas en educación superior, así como sus aplicaciones en la enseñanza de las ciencias de la salud y la evaluación educativa. Es necesario que la comunidad de educadores médicos conozca la analítica del aprendizaje, para ser capaces de integrarla en su contexto eficaz y oportunamente.

Abstract Learning analytics is an innovative discipline that has an enormous potential to improve the quality of medical education and learning assessment. It is defined as: “the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs”. In recent decades, the appearance of large volumes of data (big data), accompanied by a quick evolution of educational data mining techniques, the emergence of sophisticated technologies to analyze and visualize any type of data, as well as the availability of permanently-connected mobile electronic devices, higher processing speed and capacity of information retrieval, have generated a context that favors the use of learning analytics in clinical medicine and medical education. In this paper, the recent history of the concept of learning analytics is described, as well as its advantages and disadvantages in higher education, and its applications in the teaching of health sciences and educational assessment. It is necessary for the community of medical educators to be acquainted with learning analytics, in order to be able to integrate it to our context in an efficacious and timely manner.

O processo de orientação de trabalhos de conclusão de cursos de especialização: a experiência da Escola de Saúde Pública da Bahia / The process of academic advising in specialization courses: the experience of the School of Public Health of Bahia / El proceso de orientación de trabajos de conclusión de cursos de especialización: la experiencia de la Escuela de Salud Pública de Bahía

A produção de novos conhecimentos fundamenta as práticas de ensino-aprendizagem, contribuindo para o fortalecimento das ações ofertadas e para a construção da identidade institucional. Em seus processos formativos, sobretudo as especializações lato sensu, a Escola de Saúde Pública da Bahia Professor Jorge Novis (ESPBA) prevê como produto final os trabalhos de conclusão de curso (TCC), concebidos como instrumentos impulsionadores para o desenvolvimento de pesquisas e intervenções nos serviços de saúde. Neste artigo buscou-se descrever e analisar o processo de orientação de TCC desenvolvido na escola, em seu percurso histórico, considerando as primeiras experiências e as transformações que se deram após a implantação de um conjunto de medidas voltadas para o aprimoramento dessa atividade. Para fins desta análise, foi realizado um estudo comparativo entre dois cursos de especialização promovidos pela escola. Os dados foram obtidos por meio de fichas de avaliação dos TCC, instrumento aplicado para avaliar e estabelecer nota aos produtos dos cursos. Dentre as modalidades de TCC disponíveis na ESPBA, o projeto de intervenção apresenta maior complexidade e tem maior relação com o processo de trabalho do servidor, tendo em vista que demanda uma clareza do contexto em que se quer intervir e a identificação de suas necessidades. Embora não tenha sido possível afirmar que houve uma influência direta das medidas implantadas para qualificar os TCC, pode-se inferir que as diferenças observadas no curso de Especialização em Gestão de Serviços de Saúde retratam a importância das discussões promovidas pela Comissão de Monitoramento e Avaliação da Escola com os discentes e orientadores.

The production of new knowledge grounds teaching-learning practices, contributing to the strengthening of the offered actions and the construction of institutional identity. In its formative processes, especially for lato sensu specializations, the ESPBA foresees as final product the final paper (TCC), designed as an impelling instrument for the development of research and interventions in health services. This article described and analyzed the TCC advising process developed in the school, throughout its historical course, considering the first experiences and transformations that occurred after the implementation of a set of measures to improve this activity. For the purposes of this analysis, a comparative study was carried out between two specialization courses promoted by the school. The data were obtained through evaluation cards of the TCC, an instrument used to evaluate and establish a grade to the products of the courses. Among the modalities of TCC available at ESPBA, the Intervention Project presents greater complexity and is more related to the educator's process, given it demands full understanding of the context to be intervened and the proper identification of needs. Despite no clear evidence of direct influence of the implemented measures in qualifying the TCC, it can be inferred that the differences observed in the specialization course of Health Services Management portrays the importance of discussions promoted by the Monitoring and Evaluation Commission of the school with students and counselors.

La producción de nuevos conocimientos fundamenta las prácticas de enseñanzaaprendizaje, contribuyendo al fortalecimiento de las acciones ofertadas y la construcción de la identidad institucional. En sus procesos formativos, sobre todo las especializaciones lato sensu, la Escuela de Salud Pública de Bahía Profesor Novis (ESPBA) prevé como producto final los Trabajos de Conclusión de Curso (TCC) concebidos como instrumentos impulsores para el desarrollo de investigaciones e intervenciones en los servicios de salud. En este artículo se buscó describir y analizar el proceso de orientación del TCC desarrollado en la escuela, en su recorrido histórico, considerando las primeras experiencias y las transformaciones que se dieron tras la implantación de un conjunto de medidas dirigidas al perfeccionamiento de esta actividad. En este análisis, se realizó un estudio comparativo entre dos cursos de especialización promovidos por la escuela. Los datos se recogieron de fichas de evaluación de los TCC, un instrumento que se aplica para evaluar y calificar a los productos de los cursos. Entre las modalidades de TCC disponibles en la ESPBA, el proyecto de intervención presenta mayor complejidad y tiene mayor relación con el proceso de trabajo del servidor, teniendo en vista que demanda una claridad del contexto que se quiere intervenir e identificar sus necesidades. Aunque no es posible afirmar que hubo una influencia directa de las medidas implantadas para calificar los TCC, se puede inferir que las diferencias observadas en el Curso de Especialización en Gestión de Servicios de Salud retratan la importancia de las discusiones promovidas por la Comisión de Monitoreo y Evaluación de la Escuela con los alumnos y orientadores.

Formação em saúde e efeitos no trabalho: avaliando processos e caminhos de processos educativos / Training in health and effects at work: evaluating processes and trajectories of educational processes / Formación en salud y efectos en el trabajo: evaluando procesos y caminos de procesos educativos

Este estudo de caso analisou a experiência de avaliação de um curso de especialização em saúde pública no estado da Bahia usando o referencial teórico metodológico da área de avaliação Treinamento, Desenvolvimento e Educação. As complexidades e transversalidades da saúde no cotidiano do trabalho indicam a necessidade de reordenamento das práticas e de transformações dos processos de trabalho e formação dos profissionais atuantes neste campo, além de tomar-se o trabalho como princípio educativo, adotando metodologias que favoreçam o diálogo e a capacidade crítico-reflexiva. Considera-se a avaliação como prática inerente e indutora de melhorias em qualquer processo educativo. Assim, este estudo justifica-se pela importância do desenvolvimento de práticas de avaliações em processos educativos e por incentivar a utilização de modelos baseados na avaliação integrada e em profundidade de processos educativos no campo da saúde. Os dados foram coletados com a aplicação de instrumentos de avaliação do curso, em diferentes momentos, identificando a reação e a aprendizagem dos discentes. O referencial utilizado tem consistência e aplicabilidade no campo da educação na saúde e, por meio dele, evidenciou-se coerência entre os níveis de avaliação de reação e aprendizagem. Para os discentes, o curso teve aplicabilidade e contribuiu para aprendizagem de conhecimentos e habilidades acerca da atuação do profissional sanitarista. Insumos, procedimentos e proacessos do curso foram avaliados positivamente. No entanto, alguns aspectos da estrutura e da didática foram avaliados abaixo da expectativa. Portanto, espera-se que este trabalho contribua para o conhecimento na área de avaliação de processos educativos, inspirando a adoção de perspectivas metodológicas de avaliação contínua e em profundidade no campo da educação na saúde.

This case study analyzed the assessment experience of a Specialization Course in Public Health in the state of Bahia using the methodological theoretical framework of the TD & E Evaluation area. The complexity and cross-sectional nature of health in daily life indicate a need for reorganizing practices, changes in work processes, and in the training of professionals working in this field, in addition to taking work as an educational principle and methodologies that favor dialogue and critical reflexive capacity. Assessments are considered an inherent practice that leads to improvements in any educational process. This study is justified by the importance of developing evaluation practices in educational processes and favoring the use of models based on the integrated and in-depth evaluation of educational processes in the Health field. Data were collected through the application of the evaluation instruments course at different moments, identifying the reaction and learning of students. The reference framework used is consistent and applicable in the field of health education, in addition to showing consistency between the levels of evaluation for Reaction and Learning. For students, the course had applicability and contributed to the learning of knowledge and skills about the work of sanitarist professionals. Inputs, procedures and course processes were evaluated positively. Some aspects of the structure and didactics were evaluated below expectations. We hope that this study contributes to the knowledge in the field of evaluation of educational processes, inspiring the adoption of methodological perspectives of continuous and in depth evaluation in the field of health education.

Este estudio de caso analizó la experiencia de evaluación de un curso de especialización en salud pública en el estado de Bahía, usando el referencial teórico metodológico del área de evaluación TD&E. Las complejidades y transversalidades de la salud en el cotidiano del trabajo indican la necesidad de reordenamiento de las prácticas y transformaciones de los procesos de trabajo y de la formación de los profesionales actuantes en este campo, además de considerar el trabajo como principio educativo, adoptando metodologías que favorezcan el diálogo y la capacidad crítica-reflexiva. Se considera la evaluación como práctica inherente e inductora de mejoras en cualquier proceso educativo. Este estudio se justifica por la importancia del desarrollo de prácticas de evaluación en procesos educativos y por favorecer la utilización de modelos basados en la evaluación integrada y en profundidad de procesos educativos en el campo de la salud. Los datos se recopilaron aplicando instrumentos de evaluación del curso en diferentes momentos, identificando la reacción y el aprendizaje de los alumnos. El referencial utilizado tiene consistencia y aplicabilidad en el campo de la educación en la salud, por lo cual se evidenció coherencia entre los niveles de evaluación de reacción y aprendizaje. Para los discentes, el curso tuvo aplicabilidad y contribuyó al aprendizaje de conocimientos y habilidades acerca de la actuación del profesional sanitarista. Los insumos, procedimientos y procesos del curso se evaluaron positivamente. Algunos aspectos de la estructura y didáctica se evaluaron por debajo de la expectativa. Se espera que este trabajo contribuya al conocimiento en el área de evaluación de procesos educativos, inspirando la adopción de perspectivas metodológicas de evaluación continua y en profundidad en el campo de la educación en la salud.

Construção e validação de questionário para avaliação de conhecimento sobre ressuscitação cardiopulmonar / Construcción y validación de cuestionario para avaliación de conocimiento sobre reanimación cardiopulmonar / Construction and validation of a questionnaire for cardiopulmonary resuscitation knowledge assessment

RESUMO OBJETIVO: construir e validar um questionário sobre Ressuscitação Cardiopulmonar no adulto em Suporte Básico de Vida, com o uso do Desfibrilador Externo Automático, no ambiente hospitalar. METODOLOGIA: pesquisa aplicada, realizada na Escola de Enfermagem de Ribeirão Preto da Universidade de São Paulo, no período de janeiro de 2017 a março de 2018. Composta por 16 experts em Urgência e Emergência, para selecioná-los foi adotado os critérios de Fehring. Foram aplicadas as regras do manual do Conselho Nacional de Examinadores Médicos e diretrizes da American Heart Association. Utilizou-se estatística descritiva e análise de concordância inter-avaliadores por AC1 de Gwet. Validado em relação à organização, objetividade e clareza. RESULTADOS: questionário validado com 20 questões de Múltipla Escolha com concordância inter-avaliadores "quase perfeita". Conclusão: o questionário mostrou-se válido para utilização como instrumento de avaliação sobre o assunto abordado.

RESUMEN OBJETIVO: construir y validar un cuestionario sobre Reanimación de adulto, en Soporte Básico de Vida, con el uso de Desfibrilador Externo Automático, en ambiente hospitalario. METODOLOGÍA: investigación aplicada, realizada en la Escuela de Enfermería de Ribeirao Preto de la Universidad de Sao Paulo, en el período de enero de 2017 a marzo de 2018. Estuvo compuesta por 16 especialistas en Urgencia y Emergencia; para seleccionarlos fueron adoptados los criterios de Fehring. Se aplicaron las reglas del manual del Consejo Nacional de Examinadores Médicos y las directrices de la American Heart Association. Se utilizó la estadística descriptiva y el análisis de concordancia entre evaluadores AC1 de Gwet. El cuestionario fue validado en relación a la organización, objetividad y clareza. RESULTADOS: el cuestionario fue validado con 20 preguntas de Múltiple Elección con concordancia entre evaluadores "casi perfecta". Conclusión: el cuestionario se mostró válido para utilización como instrumento de evaluación sobre el asunto abordado.

ABSTRACT OBJECTIVE: To construct and validate a questionnaire related to adult cardiopulmonary resuscitation in Basic Life Support, using the Automatic External Defibrillator, in the hospital environment. METHODOLOGY: applied study, conducted at the University of São Paulo at Ribeirão Preto College of Nursing, from January 2017 to March 2018. Participants were 16 Urgency and Emergency experts, with Fehring's criteria used to select them. The rules of the National Council of Medical Examiners manual and guidelines of the American Heart Association were applied. Descriptive statistics and inter-rater agreement analysis through Gwet's AC1 were used. The questionnaire was validated in relation to organization, objectivity and clarity. RESULTS: a validated questionnaire with 20 multiple choice questions with "almost perfect" inter-rater agreement was produced. Conclusion: the questionnaire was shown to be valid for use as an assessment instrument on the subject addressed.

O pet-saúde como norteador da formação em enfermagem para o sistema único de saúde / Pet-health as a guide for the training in nursing for the unified health system / El pet-salud como orientador de la formación en enfermería para el sistema único de salud

Resumo A saúde de qualidade e de acesso universal é um direito que deve ser garantido por políticas públicas, financiamento compatível e pela adequada formação dos profissionais de saúde. Uma das estratégias identificadas para alcançar esse desafio é o Programa de Educação para o Trabalho em Saúde, que visa promover a interação ativa de alunos e professores com os serviços de saúde. O objetivo deste estudo foi comparar, por meio dos resultados do Exame Nacional de Desempenho dos Estudantes dos cursos de Enfermagem de 2013, o desempenho dos que participaram com o daqueles que não fizeram parte do referido Programa. Trata-se de estudo observacional, de corte transversal analítico, que analisou o desempenho pelas médias ponderadas em formação geral, formação profissional e em Saúde Coletiva. A pesquisa analisou o desempenho pelas médias ponderadas em formação geral, formação profissional e saúde coletiva. A amostra do estudo consistiu de 30.289 estudantes, dos quais 876 vinculados ao Programa de Educação para o Trabalho em Saúde. Os alunos envolvidos com o Programa tiveram um desempenho superior em todos os segmentos, com diferença estatisticamente significativa (p <0,001) em comparação com aqueles que não participaram. Os resultados indicam que o Programa em questão tem potência para compreender a necessidade da formação no Sistema Único de Saúde, ao envolver conhecimentos de Saúde Coletiva e da área profissional, e deve ser elemento norteador da construção dos currículos dos cursos de Enfermagem.

Abstract Quality and universal health care is a right that should be guaranteed through public policies, proper funding, and through the adequate training of the health professionals. One of the strategies identified to overcome this challenge is the Education for the Work in Health Program (Programa de Educação para o Trabalho em Saúde, PET-Saúde, in the Portuguese acronym; PET-Health henceforth), which has the goal of promoting the interaction of students and professors with the health services. The goal of the present study was to compare, using the results of the 2013 National Nursing Student Performance Exam (Exame Nacional de Desempenho dos Estudantes dos cursos de Enfermagem, in Portuguese), the performance of the individuals who took part in the mentioned program with that of those who did not. It is an observational study, with a cross-sectional and analytical perspective, which was conducted between February and June 2017. The research analyzed the performance through the weighted arithmetic means regarding general training, professional training and Collective Health. The sample was composed of 30,289 students, 876 of which took part in the PET-Health. The students involved with the program performed better in every segment, with a statistically significant difference (p < 0.001) in comparison to those who did not take part in the program. The results indicate that the program in question has the power to understand the need for training within the Unified Health System (Sistema Único de Saúde, SUS, in the Portuguese acronym) regarding the knowledge on Collective Health and the professional area, which should be a guiding element in the development of the syllabuses of Nursing Courses.

Resumen La salud de calidad y de acceso universal es un derecho que debe ser garantizado a partir de políticas públicas, financiación compatible y la adecuada formación de los profesionales de salud. Una de las estrategias identificadas para alcanzar este desafío es el Programa de Educación para el Trabajo en Salud, que busca promover la interacción activa de alumnos y profesores con los servicios de salud. El objetivo de este estudio fue utilizar los resultados del Examen Nacional de Rendimiento de los Estudiantes de las carreras de Enfermería del 2013 para comparar el rendimiento de aquellos que participaron de dicho Programa con el de aquellos que no formaron parte del mismo. Se trata de estudio observacional, de corte transversal analítico, realizado en el período de febrero a junio del 2017. La investigación analizó el rendimiento a partir de las medias ponderadas en formación general, formación profesional y salud pública. La muestra del estudio consistió en 30.289 estudiantes, de los cuáles 876 estaban vinculados al Programa de Educación para el Trabajo en Salud. Los alumnos involucrados con el Programa tuvieron un rendimiento superior en todos los segmentos, con diferencia estadísticamente significativa (p <0,001) en comparación con aquellos que no participaron del mismo. Los resultados indican que el Programa en cuestión tiene potencial para comprender la necesidad de la formación en el Sistema Único de Salud, incluyendo conocimientos de Salud Pública y del área profesional, debiendo servir como elemento orientador de la construcción de los programas de las carreras de Enfermería.